La prima testimonianza dell'esistenza di un castello nella zona di Peraga è datata 1560 ed attribuita allo storico Bernardino Scardeone. Qualche anno più tardi, nel 1623, nel suo "Della felicità di Padova", è Angelo Portenari a darne accenno scrivendo: "più oltre la villa di peraga già Contea […] vi fu un castello che adesso serve come casa privata". Più tardi, anche Andrea Gloria scrive: "Il piccolo castello qui un tempo esistente, prima dei Da Peraga, poi dei Michieli (1605-1669) e successivamente dei Giustiniani (1695-1748), è ridotto a casa di abitazione".

La prima datazione che può aiutarci a dimostrare che la villa fosse originariamente un castello medievale è quella riportata dallo storico Mimmo Benetti, che testimonia come in un passo degli annali del giudice D’Andrea Antonio di Alessio, contenenti un elenco di castelli e di fortificazioni del padovano presenti introno all’anno 1258, si legga: "Da Peraga. Piccolo fortilizio senza privilegio nel suddetto paese e in Mirano".

Certamente è anche da supporre che una fortificazione molto essenziale, composta da terrapieno, fossato e recinto di pali, con una o più torri lignee, possa essere stata presente nel luogo di tale fortezza già prima del 1258, quando si incontra il toponimo Peraga con diverse varianti. Di questo piccolo fortilizio sappiamo poco, anche a causa dell’incendio che, come racconta Guglielmo Cortusi, è avvenuto il 6 ottobre 1319 e che ha visto i paesi e i villaggi adiacenti a Peraga e Vigonza dati alle fiamme insieme ai rispettivi castelli.

Il castello fu di propietà prima dei Michiel (1684 circa) e poi della famiglia patrizia veneziana dei Giustiniani che cedette l’abitazione e i suoi possedimenti ad Antonio Pavanello, si dice diroccata e quasi ridotta a un pollaio. Di lì a pochi anni dai Pavanello si passò ai Bettanini, che operarono il primo restauro nel 1884. Da fonti orali si apprende che in questa data il castello possedesse ancora i merli, il ponte levatoio e una scala di legno, fatta di tronchi affiancati, per salire al primo piano. È da attribuire a questo intervento l’aggiunta dell’ala ovest del palazzo, che si ipotizza costruita sulle fondazioni di una o due torri.

Se quanto è stato trasmesso oralmente è corretto, la struttura originaria della villa fu molto diversa dall’attuale e può essere immaginata come fortezza medioevale costituita da corpo unico a pianta quadrata con una o due torri a ovest. Il piano terra, costituito da un’unica sala divisa in tre navate era l’alloggiamento della truppa. L’acqua era garantita da un pozzo interno e forse vi erano dei sotterranei. Su di un angolo della sala vi era la scala di legno costituita da tronchi affiancati che portava agli appartamenti al primo piano.